部署時會用到的功能設計

部署時的功能主要就是要將模型推論的功能建立成 API 讓使用者或其他服務可以調用，這個部分與一般的 API 開發基本相同，開發團隊可以使用習慣的 API 架構來部署模型推論服務，比如 MLflow 的快速部署服務、 Flask 、 FastAPI 等。唯一要注意的是，模型推論往往需要較高的算力資源，所以需要部署在高算力電腦上，比如在（圖五）中，模型推論 的功能會從 MLflow 伺服器 取得指定模型、推論相關程式碼、環境設定檔，並部署在 GPU Server，最終 模型推論 再與 其他服務/API 做串接。

總結

本文主要目的是帶著讀者從無到有設計出一個實用的 MLOps 系統，透過分享 MLOps 可以調整的細節、考慮的面向，希望讀者可以從中學習客製自己的 MLOps 系統。從現有團隊的基本功能需求出發，訂定團隊需要的功能，接著基於這些需求選取適合的套件，最終，根據使用情境、設備考量整合成一個完整而實用的 MLOps 系統。相信讀者在了解 MLOps 系統的設計概念後，可能會想要進一步了解如何實際部署一個 MLOps 系統，因此，在明天的文章中，將以（圖五）為例，手把手教讀者部署一個實用的 MLOps 系統。

撰稿工程師：許睦辰

完整內容 >> https://bit.ly/4dhQ3qc
Line 官方帳號，看最新技術文章：https://user137910.pse.is/aif2024ironman